Kovač sinh ngày 15 tháng 10 năm 1971 tại Berlin-Wedding, Tây Berlin, trong một gia đình Croatia đến từ Livno, Bosnia và Herzegovina. Cha mẹ ông là Mato và Ivka di cư từ SFR Nam Tư năm 1970. Ông có hai anh chị em, em trai Robert và chị Nikolina.[3][4] Kovač cũng có quốc tịch Đức và do đó ông đủ điều kiện để thi đấu cho đội tuyển cho Đức, Croatia và Bosnia-Herzegovina ở cấp độ quốc tế.[39]

Kovač quen với vợ mình là Kristina từ thời tiểu học, sau đó kết hôn năm 1999. Họ có một cô con gái Laura.[3] Kovač là một người Công giáo La Mã. Ông có cuộc sống yên tĩnh bên gia đình, xem trọng giá trị gia đình và cố gắng truyền đạt điều đó đến các cầu thủ của mình.[5][46]